Xã nằm ở phía tây của huyện và có tuyến quốc lộ 37 chạy qua địa bàn. Sông Cầu tạo thành ranh giới tự nhiên phía đông của xã (ngoại trừ một bán đảo nhỏ ở phía đông nam nằm bên kia sông).

Thượng Đình giáp với xã Lương Sơn của thành phố Thái Nguyên ở phía bắc và tây, giáp với xã Đào Xá và Bảo Lý ở phía đông qua sông Cầu, giáp với xã Nhã Lộng ở một đoạn phía đông nam, giáp với xã Điềm Thụy ở phía nam và giáp với xã Hồng Tiến thuộc thị xã Phổ Yên ở phía tây nam.